AppleはiPhoneからホームボタンをなくし、ジェスチャーメインのFluid Designを提案したあたりから、視覚メインのインターフェイス環境にあたらしい感覚をつくろうとしている。Fluid Designではボタンのオンオフという最小化した行為によるコンピュータ操作から、ヒトの行為とディスプレイ上のオブジェクトとをアニメーションで滑らかにつなぐ操作へと変更を促した。そこでは、ヒトの行為とオブジェクトの動きとが連動して、ヒトの思考の流れとコンピュータの情報処理とがディスプレイ上で渾然一体となるような感覚が生まれつつある※1。
Fluid Designの延長で、Appleはヒトとコンピュータとの連動の象徴であった「ポインタ」を、タッチ操作がメインのiPadに組み込むためにあらたにデザインした。あたらしいデザインでは、ポインタのかたちは斜めに傾いた矢印から円形に変更され、画面上のオブジェクトのかたちに合わせて自在に変化するようになった。かたちが変わるだけではなく、ポインタはオブジェクトに吸着するように半ば勝手に移動し、その下に潜り込むようになった。矢印の形のポインタは常に画面の最前面にあり、オブジェクトのかたちに関係なく、ただそのオブジェクトが表示されているXY座標を選択し続けるものであったが、円形のポインタはオブジェクトに応じて、自在に変化するものになっている。
Appleはこの変化を「適応精度」と名付けている。「Design for the iPadOS pointer※2」で、「適応精度」は「ポインタの精度の動的調整」として定義される。ポインタは円形だが、そのかたちは「ポインティングシステムが周囲のインターフェイスの精密度を認識していない場合のデフォルトの状態」とされる。そして、インターフェイス上に設置された「ボタン」を選択する際の説明が次のようにされる。
- いつ・️複数のボタンが並ぶ領域でポインタを動かす際は、ポインタはボタンの精密度に合わせて調整します
- ボタンが並んでいる所へポインタを動かすと、ポインタは自動でボタンにスナップします
- 形の変化は精度の低下を示しています
Apple “Design for the iPadOS pointer”
「ポインタはボタンの精密度に合わせて調整します」とは、たとえば、ボタンが20ピクセル×20ピクセルの正方形だとすると、ボタンの精密度は形状に合わせた20ピクセルになり、ポインタの精度もまた1ピクセルから20ピクセルに低下すると言うことである。Appleがポインタを変形させ、ヒトとポインタとのあいだの自己帰属感をも失わせるようなオブジェクトへのスナップ＝吸着を行い、さらには、ポインティングの精度を落としてまで実現したかったことはなんなのだろうか。
iPadでトラックパッドを使って作業をしていると、私は「適応精度」を実装されたiPadOSのポインタに違和感を感じている。だが、そのように思うのは、XY座標を1ピクセル単位の精密さで選択することに最適され、特権的に画面の最前面に位置し続け、私の動きに常にスムーズに連動してくれて、自己帰属感を保ち続ける矢印型ポインタに慣れているからだけかもしれない。iPadOSのポインタはタッチ型インターフェイスで、指がディスプレイ上のオブジェクトにダイレクトに触れているかのように操作をする体験を織り込んでデザインされている。だとすれば、iPadOSの円形ポインタはヒトとコンピュータとの関係を矢印型ポインタとは異なる方向へと向けるものと考えた方がいいだろう。
矢印型ポインタは、オブジェクトが表示されている正確な場所で「クリック」という最小化された行為を行うために、ディスプレイのXY座標を正確に選択＝指差すものだと考えられる※3。対して、iPadOSの円形ポインタは、iPhone以降に当たり前になったディスプレイ上のイメージにダイレクトに触れているという感覚を発展させ、ポインタに対する自己帰属感は犠牲にしてもイメージ自体に接触しようと試みている感じがある。
iPadOSのエンジニアとデザイナーはポインタを「指差す」ことだけに限定するのではなく、インターフェイスのボタンなどのオブジェクトとの関係で捉え直し、1ピクセル単位で座標を選択することではなく、iPadOSがしたように対象の形状に応じて、ポインタのかたちを変えた。ポインタのかたちを変えるために、ディスプレイに「オブジェクト」をかたちづくる仕組みがつくられた。私たちがこれまでインターフェイスに見ていたのはXY座標を占める「イメージ」であって、そのかたちはヒトには認識されてはいるが、ポインタには形状は関係なく、クリックが有効な座標の集合でしかなかった。しかし、iPadOSでは、ピクセル単位で規定された平面である「ポインティング層」とインターフェイスに設置された「ボタン」「テキスト」などの「オブジェクト層」とが分けられた※4。その結果、ポインタは最前面に存在し続けるという特権を失い、ポインタはアイコンの裏にまわったり、ウィジェットの上にいったりと忙しなく動き回っている。
この最前面に位置するという特権を失ったことで、ポインタは特定の座標を選択する役割を引き続き担いながらも、選択という行為に変化が生じている。ポインティング層でピクセル単位の精度を持つ円形のポインタは、ボタンなどのオブジェクトの近くにいくとオブジェクト層に設置されたボタンのかたちに合わせて変形し、ポインティングの精度を低下させ、ボタンにスナップするようになった。タッチ型インターフェイスではヒトの指がディスプレイに表示されたイメージと連動することで「触れる」という感覚をつくっていたが、iPadOSではXY座標平面にオブジェクト層ができることで、ディスプレイの上のイメージは形状情報を持ち、ポインタが「触れる」ことのできるオブジェクトになったと考えられる。
オブジェクト層はポインティング層と同じXY座標平面のピクセルで構成されているが、オブジェクト層のピクセルには異なる意味が付与されている。ディスプレイを見ているだけでは、XY座標とオブジェクト層のピクセルは同じデータである。しかし、オブジェクトにポインタが寄っていったときに、オブジェクト層はXY座標とリンクした位置情報であり、ポインタを変形させる形状の情報でもある。ポインタはピクセルのXY座標という情報を選択するだけなく、同じ座標から「オブジェクトの形状」という情報を合わせて取得することになる。そして、オブジェクトの形状情報に合わせてポインタのかたちが変化する。
ヒトはポインタの変化を予測することが難しい。なぜなら、そのオブジェクトに形状の情報が付与されているかどうか、単にディスプレイを見ているだけではわからないからである。ポインタをオブジェクトに近づけたとき、そのオブジェクト層に形状情報が設定されていれば、ポインタはオブジェクトに合わせて変形して、スナップして「触れる」感じが立ち現れる。しかし、そのオブジェクトに形状情報が設定されていなければ、それは今まで通りのクリック可能な領域を示すイメージでしかなく、ポインタに変化はなく、これまで通り正確な情報を選択するためにクリックするだけである。
ポインタがオブジェクトを選択するのではなく「触れる」ためには、ヒトは手を対象に合わせて変形させることで、対象への接触面のかたちを大きく変えているのだから、ポインタもそのかたちをオブジェクトに合わせて変形し、ポインティングの精度の変更が必要だったのである。そして、ポインティング精度の変化を実現するために、XY座標平面にオブジェクト層が追加され、ディスプレイにオブジェクトとして存在するためには、XY座標の位置情報と色情報をポインティング層に持つだけでは不十分になった。オブジェクト層ができてはじめて、ディスプレイ上のアイコンやテキストといったものは、ポインタが指差し、選択するためのイメージでしかないということが明確になったのである。
オブジェクト層にそのかたちを規定する情報を保持しなければ、iPadOSではオブジェクトとして存在できない。だから、iPadOSのインターフェイスには、ヒトにとっては同じに見えても、ポインタにとっては、単なるクリック領域を示し選択しかできないピクセルの集合である「イメージ」と、形状情報をもち「触れる」ことができるピクセルの集合である「オブジェクト」という異なる二つの要素が存在しているのである。
iPadOSは「適応精度」を実装して、ポインタがヒトの行為と連動して、イメージを指差して選択するという最小化された行為だけではなく、インターフェイスのオブジェクトに「触れる」という行為を可能にした。選択という最小化された行為から「触れる」というオブジェクトごとにかたちを変える複雑さを示す行為への移行は、ディスプレイの向こう側にある情報という存在の確かさをあげる試みだと、私は考えている。選択されるだけのイメージと「触れる」ことができるオブジェクトは、ヒトにとっては見た目は同じであるが、ポインタを近づけた瞬間に、ヒトの体験における存在の確かさのちがいが明確になるのである。インターフェイスに見えているだけでも情報は確かにそこにあるが、触覚や聴覚、さらにはそれらをもとにした錯覚を組み合わせて、ヒトに体験におけるディスプレイの向こう側の情報という存在の確かさの強度をあげることを、AppleはiPadOSのポインタをはじめとする最近のインターフェイスデザインで試みていると、私は考えている。
ヒトの体験における情報という存在の確かさを考えるために「ラバーハンド錯覚」という錯覚を参照したい。ラバーハンド錯覚では、直接見えないように置いた自分の手と見える位置に置いた「偽物の手」であるラバーハンドに同時に触覚刺激を与えると、ラバーハンドが自分の手ではないと分かっていても、そこに触覚刺激を感じてしまうというものである※5。
私はラバーハンド錯覚を体験したときに、抗えない強さで感じてしまう「触覚刺激」は幻でもなんでもなく、私に立ち現れた感覚であると感じた。それは私がある状況に置かれたときに、私自身がつくりだす情報の存在の確かさがある一定の閾値を超えたとき、その情報は確かに存在となり、世界の感じ方に重ねられ、世界がそのようにしか感じられなくなることであった。私はラバーハンド錯覚に代表されるいくつかの錯覚を体験した以降、AppleがFluid Design以降に行っているのは、コンピュータが迅速に処理する情報を感覚と強く結びつけ、その存在の強度をあげることで、インターフェイスの体験において情報があたかもモノのように立ち現れる状況をつくるということだと考えるようになった※6。
脳知能科学を専門とする嶋田総太郎はラバーハンドを、タブレットで表示された「手の映像」に変更して実験を行った。その実験は、被験者に「手の映像」を見てもらい、まずはそこでラバーハンド錯覚を生じさせ、その後、被験者の手は静止したまま、「手の映像」の手の指を大きく開くと、被験者の手も開いたというものである。この実験に対して、嶋田は次のように考察している。
ここでまず被験者からラバーハンドへの自己身体のプロジェクションが起こっているわけだが、この状態でラバーハンドのほうを動かすと、今度はラバーハンドの状態が被験者の手に影響を与えるという、いわばラバーハンドから被験者の手への逆向きの投射（バックプロジェクション）が起こったと考えることができる。つまりラバーハンド錯覚は被験者からラバーハンドへの一方向の投射現象ではなく、被験者とラバーハンドの間に密接なリンクが確立される現象なのであり、ラバーハンドの変化は逆に被験者の手を変化させうるのである。
嶋田総太郎『脳のなかの自己と他者：身体性・社会性の認知脳科学と哲学』
被験者からラバーハンドだけではなく、ラバーハンドから被験者への逆向きの投射＝バックプロジェクションが起こることは、iPadOSの円形ポインタ、そして、これからのインターフェイスを考える上でとても重要な指摘である。矢印型ポインタが活躍したデスクトップメタファはヒトからの一方的な投射であったと言える。なぜなら、デスクトップメタファは、メタファという言語の機能を使って、ヒトの身体感覚をXY座標を正確に選択するためのマウスとポインタを介して、GUIの画面にプロジェクションするものだったと考えられるからである※7。この状態でもヒトはコンピュータを活用できていた。その後、スマートフォンというかたちで全世界の多くの人々がコンピュータを使うようになり、ヒトはディスプレイ上のオブジェクトにあたかもダイレクトに触れるかのように情報を操作している。
この体験を通して、今までのコンピュータの操作はクリック、タップによる最小化された行為に基づくものであり、単にディスプレイ上のイメージを選択しているに過ぎなかったということが明らかになった。スマートフォンの体験を活かしてデザインされたiPadOSの円形ポインタは、嶋田が示す実験のようにコンピュータが表示するポインタの変化が、ヒトの手に影響を与えるようなバックプロジェクションを起こさせる試みである。ポインタが半ば勝手に動くように感じるのは、ヒトと密接に連動してリンクが確立したポインタの変形を見ることでバックプロジェクションが起こり、ヒトの手に変化が起こっているからである。
ここでは、インターフェイスがヒトに対して、受動的に連動しているというよりも、能動的に感覚に作用して、ディスプレイ上で起こっている行為の主体がヒトのなのか、コンピュータなのかが、曖昧になっている。その曖昧さにおいて、iPadOSはオブジェクトに「触れる」ということをポインタの変化で示し、手の感覚に介入するインターフェイス体験をつくる。その体験において、ディスプレイ上のオブジェクトに「触れる」という情報がヒトにバックプロジェクションされ、そこに確かに触れられるオブジェクトが存在するという情報が立ち現れる。この体験は、ヒトとコンピュータとのあいだに触覚が生じているかのような強度の強い錯覚をつくり、ディスプレイの向こうにある情報という存在の確かさを、ディスプレイのこちら側にあるモノに近いレベルにまであげるのである。
